We study the expressibility and learnability of convex optimization solution functions and their multi-layer architectural extension. The main results are: \emph{(1)} the class of solution functions of linear programming (LP) and quadratic programming (QP) is a universal approximant for the $C^k$ smooth model class or some restricted Sobolev space, and we characterize the rate-distortion, \emph{(2)} the approximation power is investigated through a viewpoint of regression error, where information about the target function is provided in terms of data observations, \emph{(3)} compositionality in the form of a deep architecture with optimization as a layer is shown to reconstruct some basic functions used in numerical analysis without error, which implies that \emph{(4)} a substantial reduction in rate-distortion can be achieved with a universal network architecture, and \emph{(5)} we discuss the statistical bounds of empirical covering numbers for LP/QP, as well as a generic optimization problem (possibly nonconvex) by exploiting tame geometry. Our results provide the \emph{first rigorous analysis of the approximation and learning-theoretic properties of solution functions} with implications for algorithmic design and performance guarantees.

Data valuation, especially quantifying data value in algorithmic prediction and decision-making, is a fundamental problem in data trading scenarios. The most widely used method is to define the data Shapley and approximate it by means of the permutation sampling algorithm. To make up for the large estimation variance of the permutation sampling that hinders the development of the data marketplace, we propose a more robust data valuation method using stratified sampling, named variance reduced data Shapley (VRDS for short). We theoretically show how to stratify, how many samples are taken at each stratum, and the sample complexity analysis of VRDS. Finally, the effectiveness of VRDS is illustrated in different types of datasets and data removal applications.

提出测试释放（PTR）是一个差异隐私框架，可符合局部功能的敏感性，而不是其全球敏感性。该框架通常用于以差异性私有方式释放强大的统计数据，例如中位数或修剪平均值。尽管PTR是十年前引入的常见框架，但在诸如Robust SGD之类的应用程序中使用它，我们需要许多自适应鲁棒的查询是具有挑战性的。这主要是由于缺乏Renyi差异隐私（RDP）分析，这是一种瞬间的私人深度学习方法的基础。在这项工作中，我们概括了标准PTR，并在目标函数界定全局灵敏度时得出了第一个RDP。我们证明，与直接分析的$（\ eps，\ delta）$ -DP相比，我们的RDP绑定的PTR可以得出更严格的DP保证。我们还得出了亚采样下PTR的算法特异性隐私扩增。我们表明，我们的界限比一般的上限和接近下限的界限要紧密得多。我们的RDP界限可以为PTR的许多自适应运行的组成而更严格的隐私损失计算。作为我们的分析的应用，我们表明PTR和我们的理论结果可用于设计私人变体，用于拜占庭强大的训练算法，这些变体使用可靠的统计数据用于梯度聚集。我们对不同数据集和体系结构的标签，功能和梯度损坏的设置进行实验。我们表明，与基线相比，基于PTR的私人和强大的培训算法可显着改善该实用性。

假新闻的扩散及其严重的负面社会影响力推动了假新闻检测方法成为网络经理的必要工具。同时，社交媒体的多媒体性质使多模式的假新闻检测因其捕获更多模态特征的能力而受欢迎，而不是单模式检测方法。但是，当前有关多模式检测的文献更有可能追求检测准确性，但忽略了检测器的鲁棒性。为了解决这个问题，我们提出了对多模式假新闻探测器的全面鲁棒性评估。在这项工作中，我们模拟了恶意用户和开发人员的攻击方法，即发布假新闻并注入后门。具体而言，我们使用五种对抗和两种后门攻击方法评估了多模式探测器。实验结果暗示：（1）在对抗攻击下，最先进的检测器的检测性能显着降解，甚至比一般检测器更糟； （2）大多数多模式探测器受到视觉模态的攻击比文本模态更容易受到攻击； （3）当受欢迎的事件的图像在探测器遭受后门攻击时会导致探测器的重大降解； （4）在多模式攻击下这些检测器的性能比在单模式攻击下更糟糕； （5）防御方法将改善多模式探测器的鲁棒性。

由于其便利性，使用第三方提供的预培训模型变得越来越普遍。然而，与此同时，这些模型可能容易受到中毒和逃避攻击的影响。我们引入了一个算法框架，当防御者无法获得清洁数据时，可以在预训练的模型中减轻潜在的安全漏洞。框架从给定的预训练模型进行了反向工程。然后，可以将所得的合成样品用作替代干净的数据以执行各种防御措施。我们考虑两种重要的攻击场景 - 后门攻击和逃避攻击 - 以展示合成样本的实用性。对于这两次攻击，我们表明，当提供我们的合成数据时，最新的防御能力的性能相当甚至比提供相同数量的清洁数据时的情况相当甚至更好。

本文研究了数据估值对嘈杂模型性能得分的鲁棒性。特别是，我们发现广泛使用的随机梯度下降的固有随机性会导致现有的数据值概念（例如，沙普利值和剩余错误），以在不同运行中产生不一致的数据值排名。为了应对这一挑战，我们首先提出一个正式的框架，在该框架中可以测量数据值概念的鲁棒性。我们表明，Banzhaf的价值是一个源自合作游戏理论文献的价值概念，它在所有半估计中实现了最大的鲁棒性 - 一类价值概念满足ML应用程序所带来的重要属性。我们提出了一种算法，以根据最大样本重用（MSR）原理有效地估计Banzhaf值。我们得出了Banzhaf值近似的下限样品复杂性，并表明我们的MSR算法的样品复杂性几乎与下限匹配。我们的评估表明，Banzhaf值的表现优于几个下游ML任务（例如使用加权样品学习和嘈杂的标签检测）的现有基于半半数的数据值概念。总体而言，我们的研究表明，当基础ML算法是随机的时，Banzhaf值是基于半杂志的数据值方案的有前途的替代方法，因为其计算优势和能力可靠地区分数据质量。

机器学习（ML）模型需要经常在改变各种应用场景中更改数据集，包括数据估值和不确定量化。为了有效地重新培训模型，已经提出了线性近似方法，例如影响功能，以估计数据变化对模型参数的影响。但是，对于大型数据集的变化，这些方法变得不准确。在这项工作中，我们专注于凸起的学习问题，并提出了一般框架，用于学习使用神经网络进行不同训练集的优化模型参数。我们建议强制执行预测的模型参数，以通过正则化技术遵守最优性条件并保持效用，从而显着提高泛化。此外，我们严格地表征了神经网络的表现力，以近似凸起问题的优化器。经验结果展示了与最先进的准确高效的模型参数估计中提出的方法的优点。

随着语言模型的不断增加，它对于保护这些模型免于泄漏私人信息变得至关重要。以前的工作试图通过培训具有不同隐私保证的基于RNN的语言模型来应对这一挑战。但是，将经典的差异隐私应用于语言模型会导致模型性能差，因为基本隐私概念过于困惑，并且为数据中所有令牌提供了不体化的保护。鉴于自然语言中的私人信息很少（例如，电子邮件的大部分可能无法携带个人身份信息），我们提出了一个新的隐私概念，选择性差异隐私，以提供严格的数据，以保证数据的敏感部分改善模型实用程序。为了实现这样一个新的概念，我们为基于RNN的语言模型开发了相应的隐私机制，即选择性DPSGD。除了语言建模外，我们还将方法应用于更具体的应用程序 - dialog系统。语言建模和对话系统建设的实验表明，与基线相比，在各种隐私攻击下，提议的保留隐私机制可以实现更好的公用事业，同时保持安全。数据和代码在https://github.com/wyshi/lm_privacy上发布，以促进未来的研究。

In this paper, we propose a robust 3D detector, named Cross Modal Transformer (CMT), for end-to-end 3D multi-modal detection. Without explicit view transformation, CMT takes the image and point clouds tokens as inputs and directly outputs accurate 3D bounding boxes. The spatial alignment of multi-modal tokens is performed implicitly, by encoding the 3D points into multi-modal features. The core design of CMT is quite simple while its performance is impressive. CMT obtains 73.0% NDS on nuScenes benchmark. Moreover, CMT has a strong robustness even if the LiDAR is missing. Code will be released at https://github.com/junjie18/CMT.

A recent study has shown a phenomenon called neural collapse in that the within-class means of features and the classifier weight vectors converge to the vertices of a simplex equiangular tight frame at the terminal phase of training for classification. In this paper, we explore the corresponding structures of the last-layer feature centers and classifiers in semantic segmentation. Based on our empirical and theoretical analysis, we point out that semantic segmentation naturally brings contextual correlation and imbalanced distribution among classes, which breaks the equiangular and maximally separated structure of neural collapse for both feature centers and classifiers. However, such a symmetric structure is beneficial to discrimination for the minor classes. To preserve these advantages, we introduce a regularizer on feature centers to encourage the network to learn features closer to the appealing structure in imbalanced semantic segmentation. Experimental results show that our method can bring significant improvements on both 2D and 3D semantic segmentation benchmarks. Moreover, our method ranks 1st and sets a new record (+6.8% mIoU) on the ScanNet200 test leaderboard. Code will be available at https://github.com/dvlab-research/Imbalanced-Learning.